Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Unser Thema in der letzten Stunde, zum Schluss, waren gekoppelte Informationsquellen.

Ich will nochmal ganz kurz an diesem Punkt aufsetzen, fünf Minuten wiederholen.

Bislang hatten wir die Entropie, den mittleren Informationsgehalt,

ein Symbol für gedächtnislose Quellen, für zeitinvariante Quellen,

die eine IID-Sequenz, eine Independent and Identically Distributed Sequence erzeugen.

Das können Sie sich noch sehr verreichend erinnern.

Und jetzt wollen wir mal statistische Abhängigkeiten sehen.

Und das machen wir mit folgendem Modell.

Wir haben zwei Quellen. Jede Quelle spuckt ein Symbol aus.

Und das Symbol der anderen Quelle ist aber davon abhängig,

im statistischen Mittel abhängig, was die eine Quelle tut.

Klar. Das kann auch die gleiche Quelle zu zwei verschiedenen Zeitpunkten sein.

Also dann ist das X zum Zeitpunkt 0 und das Y zum Zeitpunkt 1, was die Quelle ausspuckt.

Also die gedächtnisbehafte Quelle ist im Modell enthalten.

Ein berühmtes Beispiel dafür ist die digitale Übertragung über einen gestörten Kanal.

Eigentlich will ich als Nachrichtenempfänger des Symbol X wissen, dass die Quelle hergibt.

Aber die Quelle ist 1000 Kilometer weg oder war vor 1000 Jahren.

Und ich kann sie nicht mehr beobachten.

Ich kann nicht direkt drauf schauen. Ich brauche ein Übertragungssystem dazwischen.

Das ist aber nicht ganz zuverlässig. Da passieren Fehler und Störungen.

Und ich sehe nur eine Variable Y.

Und die Y-Variable ist hoffentlich mit der X-Variable verkoppelt statistisch,

weil sonst erfahre ich über die X.

Und das ist also die Problemstellung.

Wir nehmen an, dass die Verbundverteilung für alle Paare bekannt sei.

Und damit können wir eine Verbundentropie definieren.

Wir fassen einfach das Symbolpaar XY als Hypersymbol als Tupel auf.

Und dann müssen wir über die Wahrscheinlichkeit für alle Tupel, mal Logarithmus für die Wahrscheinlichkeit und der Minuszeichen ist die Entropie.

Dann haben wir eine bedingte Entropie definiert.

Das ist die Entropie, die Unsicherheit über das Symbol X, wenn ich das Y schon in der Hand habe.

Dann mache ich alles statt normalen Wahrscheinlichkeiten mit bedingten Wahrscheinlichkeiten.

Da ist gar nichts Neues.

Die bedingte Wahrscheinlichkeit, darum habe ich hier geschrieben, das ist eine Hilfsdefinition, die ist eigentlich ein bisschen anders definiert.

Da wird nochmal über alle Bedingungen gemittelt.

Und darum kriegen wir in dieser verbunden, entschuldigen, in dieser bedingten Entropie ein zweiter Ding.

Im Logarithmus steht eine bedingte Wahrscheinlichkeit und vorm Logarithmus steht die Verbundwahrscheinlichkeit.

Vorne sowohl als auch.

Und im Logarithmus unter der Voraussetzung das.

Ist das verstanden?

Das bitte beachten, weil wir über alle Bedingungen mitteln, müssen wir mit dem nochmal mit der Wahrscheinlichkeit für die Bedingungen multiplizieren.

Und dann wird aus der vorstehenden bedingten Wahrscheinlichkeit mit der Bedingung multipliziert, gibt die Verbundwahrscheinlichkeit.

Das ist ja die Definition der bedingten Wahrscheinlichkeit.

Dann hat man einen ersten Satz, nein einen zweiten Satz, nämlich dass eine bedingte Entropie immer nicht größer ist als eine unbedingte.

Meistens kleiner.

Das heißt, eine andere Quelle kann mich nicht nimmer machen.

Das heißt, ich möchte x wissen, gut, die Unsicherheit über x im Mittel ist die Entropie H von x.

Wenn ich aber die Gelegenheit habe y zu beobachten, dann wird meine Unsicherheit über das, was die x tun wird, geringer werden.

Auf jeden Fall nicht größer.

Das heißt auf Deutsch, so richtig mit dem jemand anderen in die Irre führen, das funktioniert nicht.